Перейти к основному содержимому

3.11. Data Science

В РАЗРАБОТКЕНЕ ДЛЯ НОВИЧКОВНЕ ОБЯЗАТЕЛЬНО

Разработчику Аналитику Тестировщику
Архитектору Инженеру

Data Science​

Что такое Data Science?​

Data Science (наука о данных) представляет собой междисциплинарную область, объединяющую методы статистики, информатики, математического моделирования и предметной экспертизы для извлечения знаний и измеримых представлений из структурированных и неструктурированных данных.

В отличие от классической статистики, ориентированной преимущественно на проверку гипотез и интерпретацию, Data Science акцентирует внимание на предсказательной способности моделей, масштабируемости вычислений и автоматизации анализа в условиях больших объёмов данных.

Основной объект изучения Data Science — данные в их разнообразных формах: числовые, категориальные, временные ряды, тексты, изображения, графы. Цель — построить модели, способные обобщать закономерности и применять их к новым, ранее не наблюдавшимся наблюдениям.

Ключевые компоненты Data Science как дисциплины:

  • Сбор и подготовка данных (data wrangling, curation, engineering),
  • Исследовательский анализ данных (Exploratory Data Analysis, EDA),
  • Построение и валидация моделей (машинное обучение, статистическое моделирование),
  • Визуализация и интерпретация результатов,
  • Интеграция выводов в бизнес-процессы или автоматизированные системы.

Data Science не сводится к применению готовых алгоритмов. Это системная инженерно-аналитическая деятельность, требующая понимания как математических основ, так и инфраструктурных ограничений реальных систем обработки данных.

Роли в экосистеме данных​

В современной практике Data Science редко реализуется одним специалистом. Вместо этого формируется распределённая команда, в которой каждая роль отвечает за определённый этап жизненного цикла данных.

Настоящий Data Scientist​

Data Scientist — специалист, который формулирует исследовательские и прикладные задачи, разрабатывает модели машинного обучения, проводит статистический анализ и интерпретирует результаты в контексте предметной области. Его работа включает:

  • постановку гипотез на основе бизнес-требований,
  • выбор и адаптацию методов моделирования,
  • оценку качества моделей с использованием метрик и статистических тестов,
  • документирование и представление выводов заинтересованным сторонам.

Ключевая компетенция — способность «читать» данные как отражение реальных процессов, сопровождаемых шумом, смещениями и ограничениями. Настоящий Data Scientist понимает границы применимости моделей и не подменяет корреляцию причинностью без дополнительных обоснований.

Data Engineer​

Data Engineer (инженер данных) отвечает за построение и поддержку инфраструктуры, обеспечивающей надёжный, масштабируемый и своевременный доступ к данным. Его задачи включают:

  • проектирование и управление конвейерами данных (data pipelines),
  • интеграцию источников данных (лог-файлы, базы данных, API, IoT-устройства),
  • обеспечение качества и целостности данных на этапе загрузки и трансформации (ETL/ELT),
  • оптимизацию запросов и хранения для аналитических нагрузок.

Без работы инженеров данных аналитики и учёные работают с неполными, устаревшими или некорректно агрегированными данными, что делает любые выводы недостоверными. Data Engineer — архитектор «магистралей данных», по которым информация поступает к конечным потребителям.

Data Architect​

Data Architect (архитектор данных) отвечает за стратегическое проектирование структуры данных на уровне всей организации или проекта. В отличие от инженера, который реализует конкретные пайплайны, архитектор определяет:

  • общую модель данных (conceptual, logical, physical),
  • принципы нормализации и денормализации,
  • подходы к управлению метаданными, версионированию и каталогизации,
  • соответствие требованиям регуляторных стандартов (GDPR, HIPAA и др.).

В Big Data-проектах, где задействованы распределённые хранилища (data lakes, data warehouses, lakehouses), архитектор определяет, как данные будут организованы, как будет обеспечена их согласованность между слоями (raw, curated, semantic), и как будут обеспечиваться производительность и безопасность. Роль критически важна при переходе от пилотных моделей к производственным системам.

Data Analyst​

Data Analyst (аналитик данных) фокусируется на описательной статистике и отчётности. Его задача — превратить сырые данные в понятные метрики, выявить тренды, аномалии и зависимости с помощью визуализаций и интерактивных дашбордов. Часто использует BI-инструменты (Tableau, Power BI, Looker).
Хотя аналитик может применять базовые статистические методы, он редко строит предсказательные модели. Его работа важна для оперативного принятия решений и мониторинга ключевых показателей эффективности (KPI).

ML-инженер (Machine Learning Engineer)​

ML-инженер занимается промышленным развёртыванием моделей машинного обучения. Он обеспечивает:

  • интеграцию моделей в production-среду,
  • масштабирование и мониторинг их работы,
  • управление версиями моделей и данных (MLOps),
  • обеспечение воспроизводимости и тестируемости.

Если Data Scientist отвечает за «научную новизну», то ML-инженер — за «инженерную надёжность». Часто именно он реализует конвейеры обучения, автоматизацию переобучения и обработку входных данных в реальном времени.

BI-специалист и архитектор аналитики​

BI-специалист (Business Intelligence) строит семантические слои над хранилищами данных, разрабатывает кубы, измерения и метрики, которые аналитики используют без знания SQL. В крупных организациях BI-архитектор определяет, как бизнес-логика будет отражена в структуре данных, чтобы пользователи разных отделов могли получать согласованные отчёты.

Математические и программные основы анализа данных​

Для эффективной работы с данными необходима строгая формальная база, позволяющая оперировать наблюдениями как математическими объектами. Современные инструменты Data Science реализуют эту базу в виде высокоуровневых библиотек, скрывающих сложность низкоуровневых операций, но сохраняющих их логическую структуру.

NumPy​

Библиотека NumPy (Numerical Python) является фундаментом экосистемы научных вычислений в Python. Она вводит тип данных ndarray — многомерный массив однородных элементов, размещаемый в непрерывном блоке памяти и оптимизированный для векторизованных операций. В отличие от встроенных списков Python, ndarray обеспечивает:

  • фиксированный тип элементов (например, float64, int32),
  • отсутствие накладных расходов на динамическую типизацию,
  • параллельное выполнение арифметических операций без явных циклов.

Эффективность NumPy достигается за счёт реализации критических операций на языках C и Fortran, а также интеграции с BLAS/LAPACK — стандартными библиотеками линейной алгебры.

Векторы и матрицы как представление данных​

В Data Science данные почти всегда организуются в виде матриц наблюдений. Каждая строка матрицы соответствует отдельному объекту (наблюдению, экземпляру), а каждый столбец — признаку (переменной, feature). Например, в задаче предсказания цен на недвижимость строка может представлять дом, а столбцы — его площадь, количество комнат, год постройки и т.д.

Формально:

  • Вектор — одномерный массив, используемый для представления одного признака (например, вектор цен) или одного наблюдения в признаковом пространстве.
  • Матрица — двумерный массив, объединяющий множество наблюдений по множеству признаков.

Такое представление позволяет применять мощные методы линейной алгебры: умножение матриц для трансформаций признаков, разложение по сингулярным числам (SVD) для снижения размерности, решение систем линейных уравнений в методе наименьших квадратов.

Broadcasting​

Одной из ключевых особенностей NumPy является механизм broadcasting — автоматического приведения массивов разной формы к совместимому виду для выполнения поэлементных операций. Например, при сложении матрицы размера (m, n) и вектора длины n, вектор «распространяется» по строкам матрицы без фактического копирования памяти.

Правила broadcasting:

  1. Выравнивание размерностей справа налево.
  2. Совместимость по размеру в каждом измерении: либо размеры равны, либо один из них равен 1.
  3. Результирующая форма — максимум по каждому измерению.

Этот механизм позволяет писать компактный и читаемый код, избегая явных циклов, и при этом сохранять высокую производительность.

pandas​

Если NumPy предоставляет низкоуровневую числовую основу, то библиотека pandas добавляет высокоуровневую семантику, ориентированную на табличные данные. Её центральные структуры:

  • Series — одномерный индексированный массив с метками (аналог вектора с именованными элементами),
  • DataFrame — двумерная таблица с именованными столбцами и индексом строк (аналог электронной таблицы или SQL-таблицы).

pandas обеспечивает:

  • гибкую индексацию и срезы (.loc, .iloc),
  • обработку пропущенных значений (NaN),
  • агрегацию и группировку (groupby),
  • объединение таблиц (merge, join),
  • работу с временными рядами (периоды, частоты, сдвиги).

Важно подчеркнуть: хотя pandas удобен для EDA и прототипирования, он не оптимизирован для работы с данными, не помещающимися в оперативную память. Для таких случаев используются распределённые альтернативы.

Датасет​

Датасет (dataset) — это не просто файл в формате CSV или Parquet. Это семантически насыщенный объект, включающий:

  • сами данные (наблюдения и признаки),
  • метаданные (описание признаков, единицы измерения, источники),
  • контекст сбора (время, условия, инструменты),
  • ограничения на использование (лицензии, конфиденциальность).

Качество анализа напрямую зависит от качества датасета. Наличие смещений (bias) в данных — например, недостаточное представительство определённых групп — приводит к несправедливым или опасным выводам. Поэтому современный Data Scientist обязан анализировать данные и критически оценивать их происхождение, полноту и релевантность.

PySpark и распределённые вычисления​

Когда объём данных превышает возможности одной машины, применяются распределённые вычислительные фреймворки. Apache Spark — один из наиболее распространённых инструментов для обработки больших данных. Его Python-интерфейс — PySpark — предоставляет API, во многом похожий на pandas, но работающий на кластере.

Ключевые концепции Spark:

  • Resilient Distributed Dataset (RDD) — неизменяемая коллекция объектов, распределённая по узлам кластера. RDD лениво вычисляется и автоматически восстанавливается при сбоях.
  • DataFrame API — более высокоуровневый и оптимизированный интерфейс поверх Catalyst optimizer, позволяющий писать декларативные запросы.
  • Lazy evaluation — операции строят план выполнения (DAG), который оптимизируется и запускается только при вызове действия (action), например .count() или .write().

Spark SQL​

Spark SQL позволяет выполнять SQL-запросы над распределёнными данными, включая данные в форматах Parquet, JSON, Avro. Это особенно полезно при интеграции с существующими хранилищами и при работе с аналитиками, привыкшими к SQL. Spark SQL транслирует запросы в те же оптимизированные физические планы, что и DataFrame API.

Преимущество распределённых вычислений — в масштабируемости и в возможности обработки потоковых данных (Spark Streaming), выполнения графовых алгоритмов (GraphX) и машинного обучения (MLlib).

Типология переменных​

Понимание природы переменных — фундамент корректного анализа. Ошибка в интерпретации роли переменной ведёт к неверным выводам, неустойчивым моделям и, в крайних случаях, к принятию деструктивных решений. Ниже рассматриваются ключевые категории переменных, используемых в Data Science, с акцентом на их формальные свойства и практические последствия.

Независимые и зависимые переменные​

В контексте статистического моделирования и машинного обучения различают:

  • Зависимую переменную (dependent variable, target, response) — величину, которую модель пытается предсказать или объяснить. Обозначается как y.
  • Независимые переменные (independent variables, features, predictors, explanatory variables) — признаки, используемые для построения предсказания.

Важно: термины «независимая» и «зависимая» не подразумевают причинно-следственной связи сами по себе. Они отражают лишь роль переменных в рамках конкретной модели. Установление причинности требует дополнительных предпосылок: рандомизации, контроля конфаундеров, теоретической обоснованности.

Спутывающие (конфаундерные) и коррелированные переменные​

Корреляция — статистическая мера линейной зависимости между двумя переменными. Высокая корреляция не означает, что одна переменная «влияет» на другую. Например, продажи мороженого и число укусов акул положительно коррелированы, но обе зависят от третьей переменной — времени года (лето).

Спутывающая переменная (confounding variable, confounder) — это переменная, которая одновременно влияет и на независимую, и на зависимую переменную, создавая ложную ассоциацию между ними. Если такой фактор не контролируется, наблюдаемая связь может быть полностью или частично артефактом.

Пример: в исследовании связи между кофепитием и сердечными заболеваниями может возникнуть ложная корреляция, если не учитывать стресс — фактор, который повышает и потребление кофе, и риск заболеваний.

Контрольные переменные​

Контрольная переменная — признак, включаемый в модель для устранения влияния потенциальных конфаундеров. Например, при анализе эффективности препарата в регрессионной модели могут быть включены возраст, пол и сопутствующие заболевания как контрольные переменные.

Использование контрольных переменных позволяет «изолировать» эффект интересующего фактора от внешних влияний, приближая анализ к условию эксперимента.

Латентные (скрытые) переменные​

Латентная переменная — величина, которая не наблюдается напрямую, но предполагается как причина наблюдаемых данных. Примеры:

  • «интеллект» в психометрии (измеряется через тесты),
  • «потребительский интерес» в рекомендательных системах (выводится из кликов и покупок),
  • «тематика документа» в анализе текстов (определяется через частоты слов).

Модели, работающие с латентными переменными (например, факторный анализ, тематическое моделирование LDA, вариационные автоэнкодеры), позволяют извлекать скрытые структуры из данных, но требуют осторожной интерпретации: латентные факторы — это математические конструкции, а не обязательно реальные сущности.

Переменные взаимодействия​

Переменная взаимодействия (interaction term) — производный признак, представляющий собой произведение (или другую комбинацию) двух или более исходных переменных. Она моделирует ситуацию, когда эффект одной переменной зависит от значения другой.

Например, эффект рекламы на продажи может быть сильнее для новых клиентов, чем для постоянных. Тогда в модель вводится терм {реклама}x{новый_клиент}. Без учёта взаимодействий модель будет давать усреднённые, неточные предсказания.

Стационарные и нестационарные переменные​

Понятие стационарности особенно важно при работе с временными рядами.

  • Стационарная переменная — процесс, статистические свойства которого (среднее, дисперсия, автокорреляция) не изменяются во времени. Многие методы прогнозирования (ARIMA, линейные модели) предполагают стационарность или требуют её достижения (например, через дифференцирование).
  • Нестационарная переменная — процесс с трендом, сезонностью или изменяющейся дисперсией. Прямое применение классических моделей к нестационарным данным приводит к переобучению и неустойчивым прогнозам.

Проверка стационарности осуществляется с помощью тестов (например, Дики–Фуллера), а преобразование — через сглаживание, логарифмирование, разностное преобразование.

Отставшие (лаговые) переменные​

Отставшая переменная (lagged variable) — значение признака в предыдущий момент времени.

Лаги используются:

  • для моделирования инерции процессов (вчера было жарко → сегодня кондиционеры включены),
  • в авторегрессионных моделях (AR, VAR),
  • для создания признаков в задачах прогнозирования.

Наличие лагов позволяет моделям учитывать исторический контекст, но требует осторожности: чрезмерное количество лагов может привести к мультиколлинеарности и переобучению.

Утечка переменных (data leakage)​

Утечка данных — одна из самых опасных и трудноуловимых ошибок в Data Science. Она возникает, когда в обучающий набор попадает информация, которая на практике будет недоступна на момент предсказания.

Примеры:

  • использование среднего значения по всему датасету для нормализации до разделения на train/test,
  • включение в признаки данных о будущем (например, итоговый счёт матча при предсказании исхода в его середине),
  • использование идентификаторов клиентов, которые коррелируют с целевой переменной.

Утечка создаёт иллюзию высокой точности модели, но такая модель бесполезна в production. Профилактика — строгое разделение данных на этапе проектирования пайплайна и аудит признаков на предмет «временной корректности».

Типы данных в Data Science​

Переменные в Data Science классифицируются по шкале измерения и структуре значений:

  1. Числовые (количественные):

    • Непрерывные: вещественные числа (температура, цена).
    • Дискретные: целые числа (количество заказов, число детей).

  2. Категориальные (качественные):

    • Номинальные: категории без порядка (цвет, страна).
    • Порядковые (ординальные): категории с естественным порядком (оценка от 1 до 5, уровень образования).

  3. Бинарные: частный случай категориальных с двумя значениями (да/нет, 0/1).

  4. Текстовые: последовательности символов, требующие специальной обработки (токенизация, векторизация).

  5. Временные: дата, время, временные метки. Часто преобразуются в числовые признаки (день недели, час суток, количество дней с события).

  6. Геопространственные: координаты, регионы, карты. Могут кодироваться как числовые пары (широта/долгота) или через эмбеддинги.

Выбор методов обработки, кодирования и моделирования напрямую зависит от типа данных. Например, категориальные признаки требуют one-hot или target-encoding, а временные — создания циклических признаков (через синус и косинус).

Освоение главы0%